生成AIにおける2024年の振り返りと 2025年の展望

生成AIにおける2024年の振り返りと2025年の展望

執筆：CISO事業部　丹羽 佳苗
監修：CISO事業部　吉田 卓史

2024年のサイバー攻撃における生成AIの悪用について振り返る。2024年には生成AIを用いた新たな犯罪ツールの確認が報告され、さらに誰でもサイバー攻撃を実行できる環境が整った。また、生成AIの悪用により英語圏から日本など英語を公用語としない国々への攻撃が増加しているとみられる調査結果が出た。今後もサイバー攻撃への生成AI利用が進み、サイバー攻撃の低コスト化および効率化、ソーシャルエンジニアリングの攻撃件数および精度向上が予想される。物理的なセキュリティ対策のほか、ビジネスメール詐欺などを見抜くための情報共有や訓練といった人的セキュリティ対策の重要性が高まっている。

生成AIとは

総務省の令和6年版 情報通信白書によると、「生成AI」は「テキスト、画像、音声などを自律的に生成できるAI技術の総称」、「ユーザ側の調整やスキルなしに自然な言語で指示を出すだけで容易に活用できるものであり、テキスト、画像、映像等の多様な形式（マルチモーダル）のアウトプットが取得できるもの」と説明されています。[1]

生成AIの高い性能が悪用されるリスク

ChatGPTをはじめとした生成AIは、言葉で伝えた指示に基づいて人間が作成するものと遜色ない文章や画像を生成できます。人間の脳の仕組みに近い方法で学習する「ディープラーニング」により、指示の意図を汲んで回答することも可能です。その汎用性の高さから、多岐に渡る業界で生産性向上に生成AIを活用できるよう様々な方法が検討されています。[2]

今までに生成AIの性能の高さを検証した調査結果も多く報告されてきました。例えば、ChatGPTは2023年に日本の医師国家試験とGoogle社のエンジニア採用試験に合格できる性能があることが証明されています。[3][4]　Google社に採用された場合のエンジニアの年収は2400万円だったことから、ChatGPTの利用者は、様々な分野の専門家をアドバイザに雇っているような状態とも言えそうです。

しかし、そんな高性能な生成AIが犯罪に悪用された場合、短時間で精度の高い文章を作成したり、自動的に精巧な攻撃を仕掛けるといった作業が可能になることから、サイバー攻撃が更に高度化し、ボット以上の広い分野でサイバー攻撃の効率化を引き起こす危険があることが、ChatGPTの公開当初から注目されていました。特にこの記事では、公開された調査結果を基に、2024年のサイバー攻撃における生成AIの悪用について振り返ります。

2024年の振り返り①：生成AIで誰でもサイバー攻撃を実行できる環境の整備が進む

2024年にも生成AIを利用した犯罪ツールを確認した調査結果が多く公開されました。今回の記事では主に正規生成AIの規制回避を目的とした犯罪ツール「EscapeGPT」と「WormGPT」を取り上げます。サイバー攻撃にどれほど生成AIが利用されているかを確認することは困難ですが、今後もサイバー攻撃に生成AIを利用しようとする取り組みは続くと予想されます。

①ジェイルブレイク用の犯罪ツール「EscapeGPT」

生成AIの悪用を防ぐため、OpenAI社ではマルウェア作成禁止や機密情報の取得といった利用規約を違反したプロンプトへChatGPTが回答しないようにするためのコンテンツフィルタリングの実装と、ユーザへの行動監視を行っています。（下図参照）

図.OpenAI社の生成AI悪用を防ぐための対応（一部抜粋）

しかし、工夫したプロンプト等でコンテンツフィルタリングを回避する方法があり、それらはジェイルブレイクと呼ばれます。[5]

確実にOpenAI社の監視から逃れられれば、制限なく犯罪目的にChatGPTを利用できるため、近年はChatGPTなど正規生成AIのジェイルブレイクに注目が集まっています。2024年に公開されたトレンドマイクロ社の調査では、OpenAI社の規制と監視を逃れてChatGPTを悪用できると謳うツール「EscapeGPT」を確認したことが報告されました。[6]

②犯罪向け生成AIツール「WormGPT」

2023年7月にサイバーセキュリティ企業SlashNextの研究者が犯罪目的の生成AIツール「WormGPT」を確認しました。指示だけで企業の経理担当者への詐欺メールを作成させることが出来たそうです。[7] ChatGPTと同程度の文章生成が可能ですが、フィッシング詐欺やマルウェア作成の効率化に特化した生成AIとみられています。

この「WormGPT」は注目が集まり過ぎたことを理由に2023年8月に販売を終了しました。[*8]以降、犯罪目的の生成AIの開発は下火となったとみられていましたが、2024年8月にトレンドマイクロ社の調査でWormGPTの再販およびDarkBERT等他の生成AIの再登場が確認されました。[9]既にChatGPTのジェイルブレイクをしなくとも、犯罪者にとっては安全に生成AIを利用できる環境が整っています。

2024年5月には国内で初めて、対話型生成AIを悪用してマルウェアを作成したとして、不正指令電磁的記録作成容疑で川崎市の男性が逮捕されました。容疑者は「ランサムウェアによって楽に金を稼ぎたかった」と供述したことも報じられています。前述の通り、ChatGPTといった正規の生成AIにはコンテンツフィルタリングがかかっていますが、容疑者は何らかの方法で回避したと見られます。プログラミングを学べる勤務経験を持たない容疑者が生成AIを用いて簡単にマルウェアを作成できてしまうことを証明した出来事でした。 (*10)

2024年の振り返り②：言語の壁を越えたサイバー攻撃の増加

2024年にProofPoint社が、2022年から2023年にかけてのビジネスメール詐欺の着弾件数増加率上位3か国が日本、韓国、UAEと英語を公用語としない国々であることを報告しました。[11]

自然な文章表現が可能な生成AIの普及に伴い、言語を学ばなくとも他国にビジネスメール詐欺を行うことが可能になっています。今後も英語圏などから日本に対するビジネスメール詐欺の件数は増加傾向が続くと思われます。

今後の展望

生成AIによる効率化によるサイバー攻撃の件数の増加と低コスト化が実現すれば、攻撃対象が大企業だけでなく中小企業にまで拡大する可能性があります。

また、生成AIにより、ビジネスメール詐欺など自然な文章により読み手に警戒されにくい文章が作成されることで、巧妙なサイバー攻撃の件数は当面増加が続くと考えています。

生成AIを悪用したサイバー攻撃の件数増加に備え、ゼロトラストの考え方を踏まえた技術的な情報セキュリティ対策を行い、攻撃の標的となる領域を少しでも狭めることが重要です。また、ビジネスメール詐欺などのソーシャルエンジニアリングに備え、定期的な対策の情報共有や訓練といった人的なセキュリティ対策の重要性が今まで以上に高まっています。

【プロフィール】

丹羽 佳苗（にわ かなえ）

2021年にアイディルートコンサルティング株式会社に新卒で入社。
大手保険会社の業務改善プロジェクトに約1年携わったのち、国際展開する大手電子機器メーカーの情報セキュリティ体制構築支援に3年ほど関わる。

監修：吉田 卓史（よしだ たくし）

20年間にわたり、一貫してサイバーセキュリティーに携わる。ガバナンス構築支援からセキュリティ監査、ソリューション導入等、上流から下流まで幅広い経験を有する。また、複数の企業において、セキュリティのコンサルティングチーム立ち上げを0から担い、数億円の売上規模にまで成長させる。IDRにおいても、セキュリティコンサルティングチームの立ち上げを担い、急速なチーム組成、案件受注拡大を行っている。

【参考文献】

［1］：総務省. "総務省｜令和6年版 情報通信白書｜生成AIの急速な進化と普及," July 31, 2024. https://www.soumu.go.jp/johotsusintokei/whitepaper/ja/r06/html/nd131210.html.

［2］：今井翔太. 生成AIで世界はこう変わる. SB新書, 2024.

［3］：ChatGPTがGoogleのコーディング職の試験を受けると年収2400万円のレベル3エンジニアとして合格する - GIGAZINE, February 6, 2023. https://gigazine.net/news/20230206-chatgpt-passed-google-coding-

［4］：最新版ＡＩ「ＧＰＴ―４」、日本の医師国家試験で「合格」...安楽死などでは不適切解答 : 読売新聞, May 10, 2023. https://www.yomiuri.co.jp/science/20230509-OYT1T50319/.

［5］：ChatGPTが答えられない質問でも強引に聞き出す「ジェイルブレイク」が可能になる会話例を集めた「Jailbreak Chat」 - GIGAZINE, March 1, 2023. https://gigazine.net/news/20230301-jailbreak-chat/.

［6］：Vincenzo Ciancaglini, David Sancho （2024） 「生成AIを用いたサイバー犯罪に関する最新の調査状況を解説」 TRENDMICRO Business　https://www.trendmicro.com/ja_jp/research/24/e/back-to-the-hype-an-update-on-how-cybercriminals-are-using-genai.html

［7］：Charlie Osborne. サイバー犯罪者向けの生成型AIツール「WormGPT」とは？ - ZDNET Japan, July 21, 2023. https://japan.zdnet.com/article/35206782/.

［8］：David Sancho, Vincenzo Ciancaglini. 過度な期待と現実：サイバー犯罪のアンダーグラウンドにおけるChatGPTを中心としたAIの動向｜トレンドマイクロ | トレンドマイクロ （JP）, September 12, 2023. https://www.trendmicro.com/ja_jp/research/23/i/hype-vs-reality-ai-in-the-cybercriminal-underground.html.

［9］：David Sancho, Vincenzo Ciancaglini. 高まる熱狂：増加する生成AI悪用に関する最新情報｜トレンドマイクロ | トレンドマイクロ （JP）, August 2, 2024. https://www.trendmicro.com/ja_jp/research/24/h/surging-hype-an-update-on-the-rising-abuse-of-genai.html.

［10］：Trend Micro. "トレンドマイクロ (JP)." 生成AIでランサムウェアを作成した容疑者の摘発事例を考察, October 2, 2024. https://www.trendmicro.com/ja_jp/jp-security/24/e/breaking-securitynews-20240529-02.html.

［11］：Proofpoint. 2024年 State of the Phish レポート | Proofpoint JP, 2024. https://www.proofpoint.com/jp/resources/threat-reports/state-of-phish.